"보안을 지켜라"…AI 플랫폼 기업의 새 먹거리 '온프레미스'

외부 연결 없이 자체 데이터 시설을 활용하는 온프레미스 시장이 인공지능(AI) 플랫폼 기업들의 먹거리로 주목받고 있다. 보안이 중요한 기업과 기관들이 온프레미스 환경에서 AI를 구축하길 원하는 경우가 많아서다.

26일 정보기술(IT)업계에 따르면 네이버클라우드는 최근 한국수력원자력과 원전 운영 환경에 맞는 생성형 AI를 개발하기로 했다. 네이버의 자체 대규모언어모델(LLM) 하이퍼클로바X에 한수원이 보유한 데이터를 결합하는 게 핵심이다. 이를 통해 두 회사는 데이터센터에서 한수원 사내망으로만 구성된 온프레미스 AI 서비스인 ‘뉴로클라우드 포 하이퍼클로바X’의 개발을 추진하기로 했다.

온프레미스 AI는 외부 연결 없이 자체 데이터센터만으로 구축한 AI를 일컫는다. 클라우드 서비스 업체(CSP)의 서버를 활용해 외부에서 데이터를 처리하는 클라우드 AI와 반대되는 개념이다. 온프레미스로 AI를 구축하면 AI 학습뿐 아니라 AI 추론 등의 기능도 내부에서 독자적으로 활용할 수 있다. 외부 연결을 차단하는 만큼 AI 학습·활용에서 유연성을 확보하기 어렵다. 이 때문에 온프레미스 AI는 보안이 최우선인 공공·금융기관이 주요 고객이다.

한국원자력연구원, 한국전자통신연구원, 한국기계연구원 등 다른 정부 출연 연구원도 내부에서만 사용할 수 있는 AI 모델을 개발하고 있다.

금융사들도 온프레미스 AI 구축을 추진하고 있다. 국민은행은 ‘금융AI센터’를 설립하고 내부에 자체 AI 생태계를 조성하고 있다. 온프레미스 AI 인기에 힘입어 금융 AI 시장도 성장세를 보이고 있다. 신용정보원은 금융 AI 시장 규모가 2020년 4000억원에서 2026년 3조2000억원으로 6년 새 8배 규모로 커질 것으로 봤다.

보안을 중시하는 기업·기관에 맞춰 SK텔레콤도 온프레미스 AI 구축을 지원하고 있다. 이 업체가 지난달 선보인 ‘엔터프라이즈 AI 마켓’은 클라우드형과 구축형을 모두 지원한다. 구축형을 선택하면 기업 내부 서버를 기반으로 전용 모델을 만들어 준다. 클라우드를 활용한 AI 시장과 AI 시장 모두를 잡겠다는 전략이다. SK텔레콤은 지난 5일 연 작년 4분기 실적 콘퍼런스콜에서 “보안이 중요한 기업을 대상으로 온프레미스 사업을 병행해 올해 기업 대상(엔터프라이즈) AI 시장을 이끌겠다”고 설명했다.

LG CNS도 지난해 10월 필수 AI 기능만을 기업 자체 인프라에 설치할 수 있는 ‘DAP 젠AI’를 출시했다. DAP 젠AI는 AI 서비스, AI 프롬프트, LLM옵스 등 세 가지 기능을 제공한다. LLM옵스는 LLM 학습과 배포 과정에서 내부 정보가 유출되지 않도록 하는 시스템이다. DAP 젠AI를 이용하면 내부 데이터베이스만을 활용할 수 있을 뿐 아니라 보안 필터도 적용할 수 있다는 설명이다.

업계 관계자는 “AI 학습에 내부 데이터만을 활용하면 AI의 정보 왜곡을 최소화하는 효과도 있다”고 말했다.

황동진 기자 radhwang@hankyung.com